'AI की माता' के रूप में मशहूर स्टैनफोर्ड विश्वविद्यालय की प्रोफेसर ली फेई फेई और उनकी टीम ने हाल ही में मल्टी-मोडल बड़े मॉडल 'स्पेस इंटेलिजेंस' पर एक शोध प्रकाशित किया, जो दिखाती है कि ये मॉडल स्थलों की स्मृति और अनुभव की दृष्टि में प्राथमिक क्षमताएं दिखाते हैं, और स्थानीय विश्व मॉडल बनाने की क्षमता प्रकट करते हैं। शोध टीम ने दृश्य स्थान बुद्धिमत्ता क्षमताओं का मूल्यांकन करने के लिए वीएसआई-बेंच नामक टूल विकसित किया है, जिसमें 288 वास्तविक वीडियो पर आधारित 5000 से अधिक उच्च गुणवत्ता वाले प्रश्न-उत्तर युग्म शामिल हैं। परीक्षण वीडियो में निवास स्थान, पेशेवर स्थल और औद्योगिक परिदृश्य शामिल हैं, जो कई भूगोलों को छूते हैं।

अलीबाबा क्लाउड बैरलियन बड़े मॉडल सेवा मंच ने हाल ही में "ऑडियो-वीडियो रियल-टाइम इंटरैक्शन" सुविधा शुरू की है, जिससे उपयोगकर्ता बिना किसी प्रोग्रामिंग ज्ञान के मल्टी-मोडल AI अनुप्रयोग आसानी से बना सकते हैं। यह नई सुविधा उपयोगकर्ताओं को वेब, iOS और एंड्रॉइड अनुप्रयोगों में तेजी से AI मॉडलों को एकीकृत करने और दूसरों के साथ साझा करने की अनुमति देती है। उपयोगकर्ता स्मार्ट एजेंट अनुप्रयोग बनाने के लिए साधारण चरणों का पालन कर सकते हैं: सबसे पहले एक नया स्मार्ट एजेंट अनुप्रयोग बनाएं, फिर अलीबाबा क्लाउड बैरलियन मंच पर आवश्यक पाठ, आवाज या दृश्य समझ के बड़े मॉडलों को चुनें और कॉन्फ़िगर करें। मंच 200 से अधिक बड़े मॉडलों की पेशकश करता है, जिसमें

Cohere ने सबसे उन्नत मल्टी-मोडल AI सर्च मॉडल Embed3 जारी किया है - अब मल्टी-मोडल सर्च का समर्थन करता है, जिसका मतलब है कि उपयोगकर्ता न केवल टेक्स्ट के माध्यम से बल्कि चित्रों के माध्यम से भी एंटरप्राइज स्तर की खोज कर सकते हैं। Embed3 पिछले साल लॉन्च होने के बाद निरंतर अनुकूलित हो रहा है, जिससे कंपनियों को दस्तावेज़ों को डिजिटल स्वरूप में परिवर्तित करने में मदद मिल रही है, जबकि इस बार का उन्नयन इमेज सर्च में इसे और बेहतर प्रदर्शन प्रदान करेगा। Cohere के सह-संस्थापक और CEO Aidan Gonzales ने सोशल मीडिया पर

हाल ही में, एलेन आर्टिफिशियल इंटेलिजेंस इंस्टीट्यूट (Ai2) ने Molmo का अनावरण किया, जो एक नया ओपन-सोर्स मल्टी-मोडल AI मॉडल परिवार है, जिसने शानदार प्रदर्शन किया है और कई तीसरे पक्ष के बेंचमार्क परीक्षणों में OpenAI के GPT-4o, Anthropic के Claude3.5Sonnet और गूगल के Gemini1.5 को पीछे छोड़ दिया है। Molmo न केवल उपयोगकर्ताओं द्वारा अपलोड की गई छवियों का विश्लेषण कर सकता है, बल्कि यह 'प्रतिस्पर्धियों की तुलना में 1000 गुना कम डेटा' का उपयोग करके प्रशिक्षित किया गया है।